Towards a bio-inspired evaluation methodology for motion estimation models

Offering proper evaluation methodology is essential to continue progress in modelling neural mechanisms in vision/visual information processing. Currently, evaluation of motion estimation models lacks a proper methodology for comparing their performance against the visual system. Here, we set the basis for such a new benchmark methodology which is based on human visual performance as measured in psychophysics, ocular following and neurobiology. This benchmark will enable comparisons between different kinds of models, but also it will challenge current motion estimation models and better characterize their properties with respect to visual cortex performance. To do so, we propose a database of image sequences taken from neuroscience and psychophysics literature. In this article, we focus on two aspects of motion estimation, which are the dynamics of motion integration and the respective influence between 1D versus 2D cues. Then, since motion models possibly deal with different kinds of motion representations and scale, we define here two general readouts based on a global motion estimation. Such readouts, namely eye movements and perceived motion will serve as a reference to compare simulated and experimental data. We evaluate the performance of several models on this data to establish the current state of the art. Models chosen for comparison have very different properties and internal mechanisms, such as feedforward normalisation of V1 and MT processing and recurrent feedback. As a whole, we provide here the basis for a valuable evaluation methodology to unravel the fundamental mechanisms of the visual cortex in motion perception. Our database is freely available on the web together with scoring instructions and results at http://www-sop.inria.fr/neuromathcomp/software/motionpsychobench. Key-words: neural models; smooth pursuit; motion perception; benchmark ∗ [email protected] † [email protected] ‡ [email protected] § [email protected] ¶ [email protected] in ria -0 04 92 00 1, v er si on 1 14 J un 2 01 0 Vers une méthodologie bio-inspirée d’évaluation de modèles d’estimation du mouvement Résumé : Offrir une méthodologie d’évaluation est essentiel pour la recherche en modélisation des mécanismes neuraux impliqués dans la vision. Actuellement, il manque à l’évaluation des modèles d’estimation du mouvement une méthodologie bien définie permettant de comparer leurs performances avec celles du système visuel. Ici nous posons les bases d’un tel banc d’essai, basé sur les performances visuelles des humains telles que mesurées en psychophysique, en oculo-motricité, et en neurobiologie. Ce banc d’essai permettra de comparer différents modèles, mais aussi de mieux caractériser leurs propriétés en regard du comportement du système visuel. Dans ce but, nous proposons un ensemble de séquences vidéos, issues des expérimentations en neurosciences et en psychophysique. Dans cet article, nous mettons l’accent sur deux principaux aspects de l’estimation du mouvement : les dynamiques d’intégration du mouvement, et les influences respectives des informations 1D par rapport aux informations 2D. De là, nous définissons deux lectures basés sur l’estimation du mouvement global. De telles lectures , nommément les mouvements des yeux, et le mouvement perçu, serviront de référence pour comparer les données expérimentales et simulées. Nous évaluons les performances de différents modèles sur ces stimuli afin d’établir un état de l’art des modèles d’intégration du mouvement. Les modèles comparés sont choisis en fonction de leurs grandes différences en terme de propriétes et de mécanismes internes (rétroaction, normalisation). En définitive, nous établissons dans ce travail les bases d’une méthodologie d’évaluation permettant de découvrir les mécanismes fondamentaux du cortex visuel dédié à la perception du mouvement. Notre jeu de stimuli est librement accessible sur Internet, accompagné d’instructions pour l’évaluation, et de résultats, à l’adresse : http://www-sop.inria.fr/neuromathcomp/software/ motionpsychobench. Mots-clés : modèles neuraux; poursuite lisse; perception du mouvement; banc d’essai in ria -0 04 92 00 1, v er si on 1 14 J un 2 01 0 A bio-inspired evaluation methodology for motion estimation 3